岗位职责:
职位描述:
1,负责爬虫系统的框架设计和开发,完成采集任务、多线程爬虫;
2、设计各种算法,提升抓取效果;
3、对互联网海量业务进行整合、分析挖掘;
4、与技术团队进行沟通,负责爬虫数据与业务系统的整合对接。
5、构建爬虫任务管理后台,能实现简单的数据展示
6、熟悉Windows/linux服务器操作系统和PC操作系统,有云服务器搭建和基本的虚拟服务器技术,有服务器集群搭建经验
7、熟悉网络环境搭建和问题处理,如路由器、交换机、VPN、防火墙、网络代理等;
任职要求:
1、熟练使用Mysql,熟练掌握Linux,掌握redis;
2、掌握Scrapy、Webmagic、Pyspider等开源框架,精通Python语言,熟悉网络编程;
3、对数据挖掘和机器学习算法方面有一定了解;
4、有互联网公司爬虫架构方面经验优先;
5、身体健康,有上进心,有良好的沟通能力,逻辑思维能力和团队协作能力
6、熟练python、java等编程语言,有2年以上的python爬虫开发经验
7、熟悉常见的硬件、网络监控工具,能通过编写脚本实现系统监控工作的优先
职能类别:
网站架构设计师
网络工程师
关键字:
python
java
爬虫
大数据